Tuy nhiên, ông nhanh chóng nhận thấy người Nhật chỉ lợi dụng người Việt như một thuộc địa chẳng kém người Pháp. Khi quân Nhật ép ông phải biểu dụ dân chúng nhổ lúa trồng đay và nộp thóc cho Nhật, ông đã cáo ốm tỏ thái độ bất hợp tác. Ông còn ngầm ủng hộ con trai Phan Kế An và nhóm bạn bè đang học Trường cao đẳng Mỹ thuật Đông Dương hoạt động cho Việt Minh - giấu súng, đạn trên trần nhà mình ở Đường Lâm.[6][7]

Tháng 7 năm 1945, ông xin từ chức Khâm sai nhưng chưa được triều đình chấp nhận, nên vẫn phải tiếp tục tạm quyền. Ngày 15 tháng 8 năm 1945, Nhật đầu hàng Đồng minh. Ngay ngày hôm sau, hai cán bộ Việt Minh là Nguyễn Khang và Lê Trọng Nghĩa vào Phủ Khâm sai tại Hà nội để thuyết phục ông hợp tác. Tuy nhiên, ngày 17 tháng 8, triều đình có quyết định cho ông từ chức, cử bác sĩ Nguyễn Xuân Chữ lên thay. Dù vậy, nhận định thế mạnh của Việt Minh bấy giờ là không thể ngăn cản được, để hạn chế đổ máu, lúc 22 giờ ngày 17 tháng 8, trước khi rời Bắc Bộ Phủ, ông đã dặn dò cho viên Chính quản Lại (sở) cùng một bảo an binh tên là Nguyễn Sỹ Là, phải: "Tuyệt đối không được nổ súng và phải mở cửa ngay khi quân cách mạng tiến công".

Rời khỏi Phủ Khâm sai, ông về tư gia ở phố Hàng Bột[7]. Nhờ ông, cuộc biểu tình do Việt Minh chỉ đạo lúc 9 giờ sáng ngày 19 tháng 8, vào chiếm phủ Khâm sai, chiếm súng đạn, cướp chính quyền không phải nổ súng và đổ máu.

Sau Cách mạng tháng Tám, ông cùng gia đình về quê nhà tại làng Mông Phụ.